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(54) Procede d*interpolatlon de trames progressives 



(57) L'invention conceme un proc6de de conversion 
de trames entrelac6es en des trames progressives 
comprenant un changement de frequences de trames 
par interpolation et compensation de mouvement 

Leproc6d6est caract6ris6 enceque lorsque levec- 
teur de mouvement associe a un pixel a interpoler est 
non nul ou lorsque ce vecteur est nul, mais que la con- 
fiance accord6e ^ ce vecteur est inf6rieure ^ un seuil 
donne, 
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rinterpolation d'un pixel (x,y) d'une trame temporel- 
lement situee entre deux trames d'entree est realisee 
par un filtrage median portant sur les valeurs obtenues 
par un premier fiftre tempore) Iin6aire compens6 en 
mouvement, un second filtre lin^aire compensd en mou- 
vement et un filtre tempore! median compense en mou- 
vement. 

L'invention s'applique notamment dans le domaine 
de la television. 
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L invention conceme un proc6d6 d'interpolation de trames progressives. Ce proc6d6 est partlcuii6rement adapts 
Ltl^f M "^"'"^^^ comportanl un changemant de frequence de trames, par exempie tfun format 

entre ac6 50 Hz en un fomiat progressif 75 Hz. L'invention s'applique notamment dans le domaine de la television 

Une television grand public actuelle re9oit et affiche 25 images par seconds. compos6es chacune de deux trames 
una comportant les lignes paires et I'autre les lignes impaires de I'image; l'6cran est ainsi balay6 verticalement 50 fols 
!tn..!!i!°i" ; ^^I""^ 'aible en regard du temps de reaction de I'oeil. La frequence limite a partir de 

laqueUe I oeii arrivera.t h resoudre temporellement une sequence televise en une succession d'Images discretes n'est 

ITltir^ J'Z^^ ^^ r^' P^P''""^-"^"* pratiquement 6limln6 pour une frequence trame de 75 Hz 

ou mieux de 100 Hz; cette derniere solution correspond done a un doublement de fr6quence 

La solution la plus evidente pour realiser ce doublement de frequence consists a simplement rfip^ter deux fois a 
I affichage chaque trame re^ue; c'est pourquoi un tel dispositif est appel6 1 00 Hz AABB. II s'agit encore d'un aftlchaae 
ent^lace{onafficheles312.5 lignes pairespendant10ms.puisles312,5lignesimpairespendant^^^ 

hii^^ilfrT"? 1 T"" ^'f "'^"^^ ^'■'^P"®'^ apparaissent cependant rapidement; efficace sur des images immo- 
b^es, II se revele fa iguant pour les yeux des qu'un objet se deplace sur I'Scran. Un point mobile horizontalement aZr 
de se dedoubler, d'autant plus que sa Vitesse est grande; ceci est du au fait qu'il est vu par Toeil au fil des imaqes 
successives comme occupant deux fois une position, puis deux fois une position voisine, etc. (voir figure 1 ) Les svs- 
ernes d asserv.ssement de I'oeil lui permettant da suh^re un objet en d6placement sont tr^s perturbas par ces irregu- 
larites. et ne lui pemiettent pas d'identifier clairement le mouvement original uregu 
Une bonne solution consiste a dStecter et calculer le mouvement des diff6rentes parties de IMmage et a calculer 
les ir^ages intarmedeires grace ^ cette information; Cast la strategie qui a 6tS retenue ici. Le d^faut principal du 100Hz 
AABB deem plus haut est ainsi corrigS tout en consen/ant la suppression du papillotement 

„n« ""^"''.t.'^^'^"' teieviseurs actuels est lie & rentrelacement des lignes affiehees. Sur una image possedant 
une bonne definition, un detail fin comme une ligne de |-6cran ne sera affiche. du fait de rentrelacement, que tous les 
In r ^^^o^df f'g"fe 2). Une solution consiste a afficher toutes les lignes de recran k chaque balayage vertical 

ne pas afficher 625 lignes pour chaque trame. avao une frequence de renouvellement de 100 Hz 

^'J"°" fT^ frequence de trame de 100Hz, cela revient & doubler encore le nombre de lignes affiehees par 

seconde, et done mu tiplier par quatre la frequence de balayage des lignes de I'ecran par rapport a un recepteur 

classique: on djt que I'on travaille a frequence ligne 4H. a u.. recepieur 

Dans un tube cathodique, la deflexion du faisceau d'eiectrons assurant le balayage du spot est controiee par un 

systeme d-eleetroaimants situes a la base du tube. Pour une frequence de balayage aussi eievee, I'esseniSde Pener- 

Teur r5i? en rLf^f^ fH^^'T^If ' '^^ ^^"^ ^^^^^ rapidement impropres 

a leur role en I etat actuel de la technologie grand public. II est done necessaire de reduire la frequence liqne 

un. ,^n.TJ'° superieure actuellement atteinte est de 3H. Nous aboutissons done a consid6rer un standard base sur 
Z lrT ^ ! trame de 75Hz. avec 625 lignes par trame. L'effet de papillotement est quasiment invisible a 75 Hz 

mnin JL. ^^'"^^ f ' "^^^^^ ^^^"'P'^' ""^ ^^quence de trame de 72 Hz. ca qui les rend beaueoup 
moms fatiguant a regarder qu'un 6cran de television. <=auv-uup 

[-■invention propose un proc6d6 d'interpolation de trames progressives a partir de trames entrelae6es 

Les demandes de brevet europeens 95 400722.5 (D94/128I) et 95 400721 .7 (D94/128I) au nom de Thomson 

ruX:anST:n1re.acr ''''^''^ '^^^ =° 

unp ^^l^ar^^ ''^ EP-A-064047 egalement au nom de Thomson Consumer Electronics conceme 

une methode de mesure de confiance dans une estimation de mouvement dans un systSme de conversion d'imaqes 
L invention a pour objet un proc6de de conversion de trames entrelac6es en des trames progressives comprenant 
un changement de frequences de trames par interpolation et compensation de mouvement caract6rls6 an ce que 

lorsque le vecteur de mouvement associe a un pixel a interpoler est non nul ou lorsque ee veeteur est nul mais 
que la confiance accordee a ce vecteur est inferiaure a un seuil donn6 

rinterpolation d'un pixel d'une trame temporellement situ6e entre deux trames d'entr6e est realrsee par un filtraqe 
median portent sur les valeurs obtenues par un premier filtre temporel Iin6aire compens6 en mouvement un se- 
cond filtre lineaire compens6 en mouvement et un filtre tempore! median compense en mouvement. 

nn^!^V'^fr,-^^^T« ^P^^ «"r«s de base median et temporels. combines entre eux grace a un 

operateur median. Cette combinaison poss6de plusieurs avantages: 
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Les filtres tindaires en eux-memes donnent des rd&ultats correct& - quelque soil le contenu de rimage- en combi- 
naison avec la compensation de mouvement; ils engendrent cependant une perte de resolution, 
le premier filtre median permet la conservation d'une bonne resolution ^ IMmage de sortie. 

le filtre median final altenue dee inconvenients lids k ces trois filtres precedents en interdisant les valeurs trop 
divergentes. Notamment les ecarts du premier filtre median sont limites par la presence des fittres Nneaires, qui 
g6n6ralement divergent peu. 

Selon un mode de realisation particulier, la confiance accordee d un vecteur est une fonction Iin6aire de I'erreur 
engendree par ce vecteur. 

revaluation de la confiance definie de cette manidre permet de n'utiliser la compensation de mouvement que 
dans la mesure oij celle-ci apporte des resultats suffisamment fiables. 

Selon un mode de realisation particulier lesdits filtres Iin6aires sont tonction de deux pixels situes respect ivement 
dans les trames d'entr6e entourant temporellement la trame k interpoler, les coefficients Iin6aires d'interpolation de 
chaque pixel correspondant au rapport des intervalles de temps s6parant la trame a interpoler et respecttvement la 
trame d'entree pr6cedente et la trame d'enlr6e suivante. 

Selon un mode de realisation particulier. lorsque la trame d'entr6e precedente est impaire. ledit filtre temporel 
median porte sur les trois pixels suivants: 
pour les lignes paires de la trame k interpoler 




b 



= P -Rear(ij),0 





alors: 



Pg (x.y) = med(ma +(1-m) b;med(a.b,c);nrrc +(1 - m)b) 



pour les lignes impaires de la trame k interpoler 






alors: 
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P2(x,y) = m9d((1- m)a +mb;mocJ(a,b,c);(1-m)c +mb)) 

^^^.x^u"^'^'''' ^' "^^'^''^^ '^^ fractions du vecteur de mouvement associ6 au pixel k interpoler. ce vecteur etant 
m.s a 6chelle et arrondi, ou -O" et ^^/2' repr^sentent respectivement la Irame tfentr^e pr6c6danl respectivement 
suivant la irame a interpoler. et ou m repr6sente un coetficieni d'inlerpolation dependant de la position de la trame a 
rnterpoler entre les trannes d'entr6e. 

Selon un mode de realisation particulier. lorsque la trame d'enfr^e pr6c6dente est impaire. ledit filtre temporel 
median porte sur les trois pixels suivants: 

Pour les lignes impaires de la trame 6 interpoler 



a =P 



|^y^^j + Front(i,j),1 



b = P 



[^]-Rear(i,j),l 
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alors: 



C = P 



V+1 



+ Front(i,i),1 



P3(x,y)=med((1-n)a +b;med(a,b.c);(1 -n)c+b) 
Pour les lignes paires de la trame a interpoler 
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b =p[^^^j + Front(i.j),lj 



50 



alors: 



P3(x,y) = med(na +(1-n)b;med(a,b,c);nc +(l-n)b) 

ou Fronl(i,j) et Rear(i.j) sont les fractions du vecteur de mouvement associ6 au pixel a interpoler, ce vecteur 6tanl 
m« & I6chelle et arrondi, ou •1/2- et -1" repr6sentent respectivement la trame d'entr6e pr6c6dant respectivement 
suivant la trame a interpoler, el ou n repr6sente un coefficient d'inlerpolation d6pendant de la position de la trame ^i 
interpoler entre les frames d'entrde. 

Selon un mode de r6alisation particulier. les deux pixels utilises pour chaque filtre linSaire sont choisis dans le 



4 



EP 0 781 041 A1 



10 



IS 



25 



groups de trois pixels utilisd par le filtre tempore! median. 

Seton un mode de rdalisation partrculier, les trames entrelac^es d'entr^e sent issues d'images progressives d*en- 
lr6e de frequence 25 Hz et que la frequence des trames de sortie est de 75 Hz, une premifere trame de sortie 6tant 
temporellement confondue avec la seconde trame issue d'une premiere image d'entrde, une seconde trame de sortie 
etant temporellement situ6e entre ladite premiere trame d'entr6e et la premiere trame issue d'une seconde image 
d'entr^e, une troisidme trame de sortie 6tant temporellement situ6e entre les deux trames d'entr6e issues de ladite 
seconde image d'entr^e, les coefficients d*interpolation utilises par lesdits filtres temporels sont de 1/2 pour ladite 
seconde trame de sortie. 

L'utilisation de coefficients 1/2 permet d'obtenir une r6duction notable des mouvements saccades par rapport a 
('utilisation de coefficients 1/3 et 2/3 tir6s de la position relative de la seconde trame de sortie entre les deux premieres 
trames d'entrde. 

Selon un mode de realisation particulier, les pixels de ladite troisifeme trame de sortie sont les pixels de la seconde 
image d'entr6e. 

Dans le cas particulier de la conversion dite "mode film", la troisiSme trame de sortie correspond en fait k la seconde 
image d'entr6e. Celle-ci aura 6ventuellement subi les reductions de bruit mentionn6es dans la description de I'exemple 
de realisation particulier. 

Selon un mode de realisation particulier, lorsque )e vecteur de mouvement associe a un pixel k interpoler est nul 
et que la confiance dans ce vecteur depasse un seuil donn6, alors la valeur du pixel k interpoler est la valeur finale 
obtenue par filtrage median entre premi6remen1 les deux valeurs de pixels obtenues en retirant, respectivement ajou- 
tant la confiance du vecteur de mouvement ramen^e au pixel divis6e par un facteur correctif a la valeur du pixel de 
meme position que le pixel k interpoler dans, selon le cas, la trame d'entr6e prec6dente ou la trame d'entr^e suivante, et 
deuxiemement une valeur de repli qui r6sulte d'un filtrage Iin6aire temporel et horizontal sur les pixels des lignes 
des trames d'entr6e pr6cedente et suivante de position identique k ia ligne contenant le pixel k interpoler, un filtrage 
spatial vertical 6tant effectue le cas 6cheant sur les lignes non d6finies des trames d'entr6e. 

Selon un mode de realisation particulier, la valeur de repli est egale k: 



Fallback(x,y) = -^(l 2 3 4 3 2 1) 
1 6 



m 



fP{x-3,y,0)^ 
P(x-2,y.O) 
P(x-1,y,0) 

P(x,y,0) 
P(x+1.y.O) 
P(x+2,y,0) 
P(x+3,y,0) J 



(1-m) 



''P(x-3,y,i)'| 
P(x-^y.4) 
P(x-1,y,I) 

P(x,y,I) 
P{x+1,y,^) 
P(x+2.y,4) 

(^P(x+3,y,4)J 



oCj "0" designe la trame d'entree precedant la trame k interpoler et "1/2" la trame d'entree suivant la trame a 
interpoler, et ou m represente un coefficient de pond6ration dependant de la position temporelle de la trame k interpoler 
entre les frames d'entr6e. 

Selon un mode de realisation particulier, I'interpolation d'un pixel d'une ligne de parite donnee d'une trame dont 
les lignes de parite opposee sont egales aux lignes d'une trame d'entree est realis6e, lorsque le vecteur de mouvement 
associe n'est pas nul ou que la confiance accordee k ce vecteur est faible, moyennant un filtrage median portant sur 
les valeurs obtenues 

premierement par un filtrage lineaire vertical, 

deuxiemement par un filtrage median spatio-temporel vertical sur deux pixels et compense en mouvement sur un 
50 pixel et 

troisiemoment par un filtrage median spatio-temporel portant sur quatre pixels en croix et compense en mouvement 
sur un pixel. 

Ce type de filtrage k deux niveaux presente les mdmes types d'avantage que ceux presentes pour le filtre prece- 
55 dent. En outre, de par la presence de filtres medians selon une direction vertlcale et deux directions diagonales, une 
bonne restitution des structures fines dans ces directions est assuree. 

L*influence des pixels de I'image d'entree courante est forte: la majorite des pixels utilises appartiennent k cette 
image. Ceci reduit I'effet d'enreurs d'estimation de mouvement. 
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Selon un mode de realisation particulier. ledit Hltrage lin^aire vertical est le suivant; 



Fl(x,y) = i[p 



oil "0" repr^sente la position temporelle de la trame & interpoler 

particulier. ledit filtrage spatio-temporel vertical sur deux pixels et compens^ en 



mouvement sur un pixel est: 



F2(: 



;P 
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y + V 


'2 






A yJ 




J 



ou Vx et Vy sont les coordonn6es d'un vecteur de mouvement associ6 au pixel a interpoler. el ou "0" represente 
la trame ^ interpoler et -1/2- la trame d'entr6esuivante. m . ou u represente 

5elon un mode de realisation pj 
pixel compense en mouvement est; 



.fr!.^rZT^^ realisation particulier, ledrt filtrage spatio-temporel portant sur quatre pixels en croix et sur un 
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Selon un mode de realisation particulier, lorsque le vecteur de mouvement associe a un pixel a interpoler est nul 
et que la confance dans ce vecteur est supSrIeure a un seuil donne. alors ledit pixel prend la valel du S de r^lme 
position dans la trame d'entrde suivante. u< aupixeiaememe 

D'autres caracteristiques et avantages de Tinvention apparaTlront a travers la description de I'exempie de realisa- 
tion non limitatif d^crit dans ce qui suit et illustre & I'alde des figures parmi lesquelles: 

' dVSmpJ ""^9'^"^"*^ repr6sentant les frames d'entr^e et de sortie du present proced6 par rapport a I'axe 

' SaSon.^^* diagramme bloc d'un dispositif mettant en oeuvre le proc6d6 conforme au present exemple de 

- la figure 3 represente un chronogramme des frames a certains points du dispositif de la figure 2 

- la figure 4 represente une image comportant des structures p6riodiques, ainsi qu'un exemple de vecteurs de 
mouvement pouvant etre g^n^r^s pour une telle image, vecteurs de 

" rJT^l ;epresen1e un histogramme des erreurs d'une ligne d'une matrice d'erreur Ii6e S une composante ver- 
ticale d un vecteur de mouvement donn6e et contenant la plus petite erreur de la matrice 

?J'vlZf.!l! nri'^ enoeuvre pour tenir compte de blocs p^riodiques dans la determination du champ 

de vecteurs de mouvement d'une image, ^ 
la figure 7 represente deuxfiltres passe-bas, 

iTei'rstlnt 1 . 2 et 2/3 et la position d'un sous-bloc par rapport aux blocs principaux dont les 

vecteurs sont seiectionnSs en tant que vecteurs candidats pour le sous-bloc 

la figure 9 represente les trames 1 , 2/3 et 3 et la position d'un bloc Interm6dialre par rapport aux blocs princiDaux 
dont les vecteurs sont utilises en tant que vecteurs candidats, n aux diocs pnncipaux 

^aj^gure 10 (a) represente one fonction non Iin6aire otilis6e par le precede de reduction de bruit temporelle recur- 

la figure 10 (b) est un diagramme bloc d'un filtre de reduction de bruit temporelle recursive 

a figure 11 represente un filtre spatio-temporel de type median utilise pour I'Interpolation de la trame 1 

la figure 12 illustre un probl6me lie k la presence de structures p6riodiques dans hmage 

ta figure 1 3 donne deux exemples de mise en oeuvre du filtre spatio-temporel utilise pour I'lntensolation de la trame 
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la figure 14 donne deux exemples de mise en oeuvre du filtre spatio-temporel utilrs6 pour I'interpolation de la trame 

3, 

la figure 15 repr6sente un chronogramme des trames ^ certains points du dispositif de la figure 2 lors du mode 
film, et 

la figure 1 6 comprend trois sch6mas (a,b,c) de trames par rapport au temps illustrant respectivement le mode de 
fonclionnement normal pour des trames vid6o, le mode de fonctionnement normal pour des trames film et le mode 
de fonclionnement spdcifique pour des trames film. 

L'invention sera expliqude en relation avec un proc6d6 de conversion de frequence d'images de television de 50 
Hz entrelac6s k 75 Hz progressifs. 

Deux demandes de brevet d6pos6es conjointement le m§me jour traitent d'autres aspects de ce proc6d6. 

Conventions 

Une p^riode est d6finie comme 6tant I'Intervalle temporel permettant d'afflcher une trame de sortie, soit 1/75 se- 
condes. Un cycle est d6fini comme 6tant I'Intervalle de temps n6cessaire pour un cycle complet de ralgorithme. soit 
trois p6riodes ou 1/25 secondes. 

Le proc6d6 se repfete identique k lui-meme toutes les trois trames de sortie ou loutes les deux trames d'entree. 
Par convention, la premiere trame de sortie porte le num6ro 1 , la deuxi6me trame porte le num6ro 2, et ainsi de suite. 
Mais du fait que le traitement est cyclique, les trames 1 , 4. 7 ... seront g6n6r6es de fapon identique; on les appeliera 
des trames de type 1 . De meme, les trames 2, 5, 8 .... respectivement les trames 3, 6, 9.., seront gen6r6es de tacpon 
identique et respectivement appel6es trames de type 2 et 3. 

Par convention, les frames d'entr6e seront num6rot6es par r6f6rence k la position qu'elles occupeni vis^-vis des 
trames de sortie. Ainsi, une trame d'entrde correspondant temporellement k une trame de sortie portera le meme 
numero que cette trame de sortie. Une trame d'entr6e situ6e entre deux trames de sortie portera les numdros de ces 
deux trames: par exemple, une trame d'entree situ6e entre les trames de sortie 2 et 3 sera appelde trame 2/3. 

La figure 1 illustre les positions respectives des trames d'entree et de sortie. 

La trame d'entree numero 1 comporte la premidre ligne afficfi6e k I'^cran d'un t^leviseur; elle a ete indlc6e ligne 
0. Cette trame, done la trame d'entree impaire, estform6e des ligne 0, 2, A, .... 624. Une trame 2/3. paire, comportera 
les lignes 1 , 3, 5, .... 623. La variable y repr^sentera les num6ros de ligne. croissantes du haut vers le bas de I'ecran, 
dans le sens du balayage. La variable x sera utilisde pour designer rabscisse d'un pixel et croTt de gauche a droite 
6galement dans le sens du balayage. t reprdsentera le temps, normalise de fa9on k ce qu'une unite temporelle repre- 
sente un cycle. La trame 1 sera situ6e au temps 0. la trame 2/3 au temps 1/2 et la trame 4 au temps 1. 

Les trames de sortie comporteront tous les num6ros de ligne, puisque ce sont des trames progressives. Le signal 
de luminance k la position d'un pixel donn6 sera represents par la variable P(x.y,t). 

Schema general 

Avantageusement, le precede de conversion decrit et le dispositif de mise en oeuvre ne necessitent qu'une seule 
memoire de trame. Cette contrainte s'explique par le fart que le precede est destine k etre impl6mente dans des 
apparells grand public fabriqu6s en grande serie. La reduction du coOt de mise en oeuvre du point de vue materiel est 
done un facteur important. 

La figure 2 est un diagramme bloc du dispositif de mise en oeuvre de l'invention. Chaque element sera vu en detail 
par la suite. 

Le dispositif comporte une m6moire vive 1 organis6e en FIFO et destinee k augmenter la frequence des trames 
de 50 k 75 Hz, en rep6tant en lecture une trame sur deux. La memoire 1 revolt done en entr6e des trames a la frequence 
de 50 Hz et foumit des trames k la frequence de 75 Hz. 

Le dispositif comporte d'autre part un circuit de reduction de bruit 2, comprenant deux filtres: un filtre spatial destine 
k reduire principalement les bruits de type impulsionnel, et un filtre temporel r6cursif . Le filtre spatial re9oit les trames 
issues de la memoire 1 , puis transmet les trames filtrees au filtre temporel. Le filtre temporel re9oit egalement une 
trame dite trame projetee, composee d'informations de trames pr6c6demment traitees, Le fonctionnement du filtre 
temporel sera vu plus en detail ulterieurement. 

Une trame filtree temporellement est stock6e dans une memoire trame 3 et transmise k un interpolateur 4. L'in- 
terpolateur 4 realise I'interpolatbn entre deux trames d'entree pour foumir les trames de sortie du dispositif. L'interpo- 
lateur 4 repoit des vecteurs de mouvement de la part d'un circuit d'estimation de mouvement 5. Uestimation de mou- 
vement est realisee entre la trame stockee dans la memoire de trame 3 et la trame ■courante" lue dans la memoire 1 . 
Un certain nombre d'informations relatives k I'estinDation de ntKDUvement sont utilisees lors de la reduction de bruit. 

La figure 3 comporte les chronogrammes relatifs aux trames traitees par les differents elements du dispositif de 
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i!ZTJ;^e:!'::^:^^^^ chronog^mme corrasponden. aux .et.res iden.ifian. ,ea connexions en.re ,es 

Une trame est representee sous la forme d'une dent de scie correspondant au balayage de cette trame 

a SO H^ITZ^.T'^^^'^'"^ (I) correspond aux Irames d-entr6e de la m^moire 1 . c'est a dire aux trames enlrelac6es 
a 50 Hz. La trame 1 est impaire, la trame 2/3 est paire etc. 

Hz L^^ tTr^^l f correspond a la sortie de la m6moire 1 : les trames sont relues ^ une Vitesse de 75 

Hz La trame 1 (at les trames 4. 7 ...) est lue une fols, la lecture debutant avant mSme que I'dcriture ne soil achev6e 
La trame 2/3 (et les trames 5/6, 8/9 ...) est lue deux fois. a^-'iiure ne son acnevee. 

t.n.nZTf^'^t chronogramme (G) repr6sente la sortie de la memoire trame 3. Cette m^moire maintient un ecart 

Dans ce but"^ '^IT" " ""'T'^ ' '^"^ ''--P"'-'-" P"-e se faire correctemenU 

fH,rZ o!, "a memoire ne se comports pas simplement comme un retard d'une trame. Si cela etait le cas. la trame 

T^ZTZ J r> ''T"'" ' ' ^ 1 q"* est repet'e 

deux tois a la sortie de la m6moire de trame. 

Le quatri6me chronogramme (B) represents les periodes de calcul des informations foumies par I'estimateur de 
differemment a chaque p6node d'un cycle donne. Pour les trames de type 1. des vecteurs de mouvement grossiers 

Tn^T. H '""^'^ r' '''' '"^^^^ "'^'^^ prlnoip..^). tandis que des vecteurs de iLemen 

ph^s ns sont determines pour les deux autres trames (reference "SB") pour des sous-blocs des blocs principaux Le 
c^cul des vecteurs pour les sous-blocs se base sur les vecteurs grossiers des blocs principaux. La reference "MBI // 
S trame 2/3 ^^"'^ ' ''"^ """"''^ I'estimation de mouvement "grossi^re" entre la trame 1 et 

^® cinquieme chronogramme (C) concerns la sortie du filtre spatial du circuit de reduction de bruit Ce filtraqe se 
fart directement sur la trame lue dans la memoire 1 . mirage se 

filtree spmSmTn7"°^'^"'"'° represents la trame projetee compares par le circuit de reduction de bruit a la trame 

et de^^a mJmoTrrdeTameT""^ '"'''''"^ ""^ ^^o^^equent rentr6e de rinterpolaleur 4 

Le dernier chronogramme indiqus la sortie ds I'interpolateur et done la sortie du dispositif en soi. 
Estimateur de mouvement 

H^r^\'r^"^T"' mouvement travaille selon le precede de comparaison par blocs hi6rarchis6e. Ce precede se 
nn 1 ! r '■'■^«g« "IOCS grossiers ou blocs principaux de 1 6*32 pixels dont 

on determine le mouvement. puis on divise ces blocs principaux en sous-blocs pour affiner le champ des vecteurs 
L estimation est effectuee pour le signal de luminance, qui contient generalement des informations suffisantes 

chrominance ou de combiner les informations de chrominance et de luminance pour I'estimation 

hn,i.onlT"?^ ''.'^f ■ ^T"^^^ ^ ^°"s-^°fia"ti"onna9e des trames d'entr6e par un fac1eur2 dans les directions 

honzontales et verticales. On d«/.sa ainsi par quatre les calculs necessaires a I'estimation. Les trames sous^chan^ 

l!^2ZZV^T '^^P^"^^"' "'"«^e« PO"^ I'estimation de mouvement. L'interpolation des trames de sortie se 
fera a partir des trames completes. 

Ce sous-echanlillonnage restreint naturellement les composantes des vecteurs de mouvement k des valeurs pai- 
tTames^'la S^ston ""'^"^ '^"^ "^"^'"'^ ''^'^ .'entre lacement des 

n.n^ZT^'!J,Tl'^^"^''r!!^?.^- °" ^''^^'^ ''"^ '^^ "9"^" '"^P^'^^^ '''"^""^s Paires. On continuera ce- 
n'Trfntln f ^'"'^ ""^^^ ^ '^^^ ^^"''"^^ coordonnees utilise jusqu'ici, en s'interdisant les pixels 
n appartenant pas au domains sous-6chantillonne. caiji^iei,, 

oasst'Sl llttfr*' realisation, avant de proceder au sous-echantillonnage. on applique k la trame un filtre 

hnritonf f ^, ^"P^"""^' f rSquences spatiales, sources ds superposition spectrale. Pour ce faire, en 

horizontal, on utilise par exemple une fenStre triangulaire k sept coefficients: 
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Phorizontal{x,v,t) = — [1 2 3 4- 3 2 ll 
16*^ ^ 



P(x-3,y,t) 
P{x-2,y,t) 
P(x-1,y,t) 

P(x,y,t) 
P(x+Xy,t) 
P(x+2,y,t) 
P(x + 3,y,t) 



IS 



Dans la direction verticale, on precede egalement a un fillrage. Comnne on ne garde que les lignes impaires, cela 
correspond aux num6ros de lignes verticalement interpoldes de la tranne d'entr6e 1 et aux num6ros des lignes d'entr6e 
de la trame 2/3. Afin d'harmoniser les contenus spectraux des deux trames d'en1r6e sous-6chantillonn6es, on precede 
a un filtrage passe-bas de la trame d'entree 2/3: 



20 



Psous-6chantillonn6(x,y,-^) = 



PhorizontaK x,y- 2,— ) 
1 

+2Phorizontal{x,y,— ) 
+Phorizontal(x,y + 2,-^) 



Pour les trames de type 1. on genere des lignes impaires en utilisant une simple moyenne verticale: 



Psous-6chantillonn6 (x.y.O) = -[ Phort2ontaI(x,y-1 ,0) + Phorizontal(x,y+1,0)] 

3S 

Les fonctions Psous - echantillonn6( x,y,0) et Psous-6chantillonn6(x,y,^) ne sont ddfinies que pour x pair et y 
impair. Pour simpiifier. les trames sous-6chantiIlonnees seront not6es P'(x,y,t). Les fittres utilises sont representes a 
la figure 7. 

Comme cela a d6j^ 6t6 mentionnd, le proc6d6 d'estimation hierarchis6 se comporte diff^remment pendant les 
^0 trois periodes d'un cycle: 

pendant la periode 1 . on calcule les vecteurs correspondant aux blocs prtncipaux, reprdsentatifs du mouvement 
entre les trames 1 et 2/3, 

' pendant la periode 2, on calcule les vecteurs correspondant aux sous-blocs, repr6sentatrfs de fa9on plus precise 
du mouvement entre les trames 1 et 2/3, le calcul se faisant k I'aide des vecteurs determines pendant la p6riode 1 , 

pendant la periode 3, on calcule les vecteurs correspondant aux sous-blocs, repr^sentatifs du mouvement entre 
les trames 2/3 et 4. Dans ce dernier cas, le calcul se fait k partir de vecteurs de blocs interm6diaires, qui sont 
50 constitu6s de valeurs ratraTchies des vecteurs correspondant aux blocs principaux. 

Determination du champ de vecteurs grossiers entre les trames 1 et 2/3 

L'image est tout d'abord ddcoup^e en blocs principaux de 32*16 pixels. Comme la taille d'une image active est 
55 de 720*576 pixels pour la frequence d'6chantillonnage standard, on a ainsi 23 blocs principaux par ligne et 36 par 
colonne. 

Pour un bloc principal indic6 (tj) avec i compris entre 0 et 22 et j compris entre 0 et 35 et appartenant par definition 
a la trame d'arrivee (la trame temporellement la plus r6cente), done une trame 2/3 ou 6quivalente. on d^finit I'erreur 
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commise pour un vecteur de mouvemenl (u,v) par: 



k = 0,2,4 30 

E(ij)(u,v)= 2^ 

l = 0,2„..,14 



P' 






YMm *i-u 






-P" 


j,t-1/2 




(My *\+\r 




tMv*j-v 



avec Mx=32. taille en abscisse d'un bloc principal. 

et My = 16, taille en ordonnde d'un bloc principal. 
On calcule alors la matrice des erreurs pour chaque bloc principal: chaque element de cene matrice correspond 
a une erreur liee k un vecteur de mouvement possible, sort: 

Err(i,j) = (E(i,j)(u.v)) pour u= -16.-14=..., 14,16;v= -4,-2,0,2.4 
Les composantes des vecteurs de mouvement sont paires et comprises respectivement entre -16 et +16 et -4 et 
+4. On compare done le bloc principal consid6r6 k des blocs d'une fenStre de recherche d'une trame pr6c6dente cette 
f enetre de recherche etant situ6e autour de la position du bloc principal rapportee a cette trame precedente Le vecteur 
retenu parmi I ensemble des vecteurs est note (u'.V) et correspond au minimum de la fonction d'erreur 

Errmin = min(E(i,j)(u,v)) = Err(i,j)(u',v') 

pour u= -16,-14...., 14.16 et v= -4,-2.0.2,4 

Le champ de vecteurs de I'image entiere est calcule en balayant, bloc par bloc, et en appliquant cette recherche 
a chaque bloc pnncipal. 

On procSde par ailleurs lors du calcul du champ de vecteurs de niveau bloc principal a une estimation du bruit de 
I image. On calcule pource fairs une valeur suppl6menlaire: I'erreur maximale de la matrice- 
Errmax= max(E(| j)(u,v)) 
pouru= -16,-14,..., 14,16;v= -4,-2,0.2.4 
Errmin represente une estimation de la somme de deux bruits: le bruit inherent au signal de luminance et le bruit 
de quantification des vecteurs de mouvement. En effet, si le vecteur de mouvement que I'on a calculi correspond bien 
au mouvement reellement present dans I'image, Errmin sera la somme des differences de luminosity existant dans 
deux surfaces identiques de la taille d'un bloc principal: ces differences auront alors pour unique origine le bruit de 
I image. 

Par contre. si du fait de la quantification des vecteurs possibles, le mouvemenl est mal repr6sent6 par le vecteur 
calcule, alors s'ajoutera au bruit pr6c6dent une composante due A I'erreur faite sur ce vecteur: Errmin sera trop severe 
pour definir le bruit reel de I'image. ^ 

On d6finit par consequent un second estimateur. S savoir Errmax-Errmin. II est lui aussi fonction du bruit de quan- 
tification de I'image. Sur une zone unifomie. la difference entre I'erreur maximale et I'erreur minimale provient unique- 
menl du bruit de I'image. Si le bruit de quantification est fort, alors Errmin et Errmax sont aflect6s tous les deux on 
peut esp6rer que cet estimateur est moins sensible au bruit de quantification, 6limin6 par la diffSrenciation 

On ddfinit d'autre part deux estimateurs En^minabs et Noiseest: 

Errmin abs= min{£>7-inin(/,y),(i>Tmax- £^rrniin)(/.y)} 

/ = 0,...,22 

y = 0....,35 



Noiseest = min {Err min (/ J)} 

Corrections apport6es aux calculs de la p6riode 1 

Selon une variante de realisation, une premiere correction est apport6e lorsque I'image comporte des zones uni- 

Tormes. 

sur une zone uniforme, comme un morceau de ciel bleu, la matrice des erreurs est approximativement constante 
Les fluctuations sont dues k la presence de bruit dans I'image. Le vecteur calcul6 par I'interm6diaire du proc6de con- 
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forme k rinvention est done imprdvisible, et il peut en rdsutter une forte hdt^rogdnditd du champ de vecteurs, ce qui 
est pr^judiciable k la suite du proc6d6. En presence de teltes h6t6rog6n6it§s. on decide de forcer le vecteur corres- 
pondant k z6ro. 

Ce forgage est en fait r6alis6 composante par composante. En effet, si on considere une frontiers horizontale dans 
5 I'image (une falaise surmont^e de ciel bleu par exemple), la composante u du vecteur de mouvement n'est pas fixee 
car les erreurs sont constantes sur cheque ligne de la nnatrice. On force done cette composante k z6ro. De m6me pour 
la composante v en cas de fronti^re verticale. 

Selon le present exemple de realisation, le crrtdre employ6 pour d6temriiner si une composante de vecteur doit 
etre forcee k zero est 116 au niveau de bruit calculi ci-dessus. 



Si Err(i,j){0,v)-Err(i,j)(u,v) <Errminabs *seuil_ X alors u=0 



Si Err(i,j)(aO)-Err(i,j)(u,v) <Errminabs *seuil_y alors v = 0 



avec Errminabs = mln{Errmin(i.j),(Errmax-Errmin)(i,j)} 

i = 0,..„22 

i = 0 35 



Les valeurs seuil_x et seuiLy sont par exemple 6gales h des multiples de 2: 2, 4, 8... 

En clair, si la difference entre les erreurs engendr6es par le vecteur de composante nulle et le vecteur trouve par 
25 Testimation de mouvement est du meme ordre de grandeur que le bruit estime inherent a I'image, alors la correction 
est apport^e. 

Selon le pr6sent exemple de realisation de rinvention, une correction est apport6e lorsque I'image contient des 
structures periodiques. 

Le probl^me pos^ par ce genre de structure a d6jk 6X6 abord^ en introduction. Les figures 4 et 12 permettent 
30 cependant de le pr6ciser pour mieux comprendre la detection et la correction envisag6es. 

Le bloc en gris6 de la figure 4 repr6sente le bloc dont le mouvement est k determiner, tandis que les deux blocs 
en pointilie representent deux blocs dans I'image de reference donnant lieu k un minimum d'erreur dans la mathce 
des erreurs. Un vecteur incorrect g^ndrera des d6fauts tr6s perceptibles lors de I'interpolation des trames de sortie. 
Ces detauts sont iHustres en gros plan par la figure 12, ou le vrai mouvement d'un bloc entre deux trames de parite 
35 oppos6e est donn6 par un vecteur ayant une composante horizontale de +2. Si le vecteur de mouvement est nul, alors 
les defauts illustres dans la partie droite de la figure apparatssent lors de rentrela9age. La hauteur des lignes a ete 
exageree pour bien montrer les defauts. 

Dans le cadre du present exemple de realisation, on se restreindra ^ une periodicite horizontale (par exemple un 
zebre k rayures verticales), etant donnd que la taille des blocs principaux et la gamme des composantes verticales 
40 possibles des vecteurs de mouvement rendent peu probable ce type d'erreur dans la direction verticale. La gamme 
des composantes verticales est trop restreinte pour permettre une detection ou une correction efficace. Neanmoins, 
I'homme du metier pourra facilement adapter la correction decrite ci^aprfes k notamment une periodicite verticale. 
Deux etapes seront maintenant abordees: la detection, puis la correction de ce type d'erreur 
La detection de ce type de defaut est effectuee k parlir de la matrice des erreurs Err. En effet, la ligne contenant 
45 le minimum des elements de la matrice contiendra aussi un ou plusieurs minima secondaires comme explique ci- 
dessus. 

Tout d'abord, on extrart de la matrice la ligne (Row(u)) des erreurs contenant le minimum avec -16< =u< = +16. 
Soit umin I'indice du minimum dans Row(u). On commence par detecter le minimum secondare. II se caracterise 
comme etant un minimum local: 
50 Row(u-1)> Row(u) et Row(u + 1)> Row(u) 

Parmi tes minima secondaires repondant au critere, on ne retient que le plus petiL Soit Usee min son indice dans 
la ligne Row(u). On detecte ensuite le maximum secondaire, situe entre les positions umin et usec_min. II se caracterise 
comme etant un maximum local: 

Row(u*1) < Row(u) et Row(u + 1) < Row(u) 
55 Parmi les maxima secondaires repondant au crrtdre, on ne retient que le plus grand. Soit usec_max son indice 

dans Row(u). 

L'histogramme de la figure 5 represente un exemple caracteristique d'une telle situation. 

On soumet le minimum secondaire et le minimum absolu, ainsi que le maximum secondaire k deux tests suppie- 
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menlaires pour s'assurer de la presence d'une structure periodique: 



les deux minima doivent fitre proches en vafeur (CI ). 
- la difference entre eux et le maximum secondaire doit etre significative par rapport au niveau de bruit courant (02). 

Ces precautions doivent 6tre prises pour 6viter que ne soit consid6r6 comme periodique un bloc principal au bord 
du zebre. En effet. un bloc principal peut §tre a cheval sur le bord du zdbre. une moiti^ appartenant ^ I'animal I'autre 
a la savane. Ce bloc peut donner un minimum d'erreur, qui sera cependant sup6rieur aux minima lies a une periodicite 
On evite aussi ainsi de considerer comme periodique une matrice d'erreur bruit6e. 

On notera; 



Errmin = Row(umin) 
Errmax = Row(umax) 
Err_sec_min = Row(usec_min) 
Err_sec_max = Row{usec_max) 

On impose les conditions suivantes: 

(01) Err_sec_min - Errmin < a*Errmax 

(02) Err_sec_max - Err_sec_min > b*Errminabs 
(C3) Errmax > c*Ermainabs 

Selon le present example, on prendra 

a=0.5 
b=2 
c ^4 



Une ligne d'erreur v^rifiant toutes les conditions sera issue d'une matrice associee a un bloc contenant vraisem- 
blablement une structure periodique. 

Selon une variante de realisation, on combine uniquement les deux premieres conditions. 
II s'agit ensuite de corriger le vecteur associd ^ ce bloc principal. 

Pour cela it ne suffrt pas de prendre en compte uniquement le bloc principal periodique. Si I'on se rapporte au 
dessin du zebre. en supprimant par la pens6e toute la partie de Tanimal qui n'est pas comprise dans le bloc principal 
on obtient un rectangle avec des rayures verlicales. En cherchant ^ quelle partie de I'image pr6cedente correspond 
ce rectangle, on trouvera plusieurs rectangles rayes possibles, sans pouvoir decider lequel devra etre pris en compte 
Pour faire ce choix. on precede 6 I'agrandissement progressif du bloc principal pour lever I'incertitude Le proc^de est 
illuslr6 par la figure 6. ou les blocs en gris6 sont les blocs p6riodiques d'une ligne de I'image. 

Dans une ligne donn6e. la detection d'un bloc principal periodique va signaler que Ton a trouv^ toute une zone de 
I'image contenant une structure periodique. On ne retiendra pas tout de suite le vecteur de mouvement de ce bloc 
principal; on stockera par contre la matrice d'erreur correspondant ^ ce bloc. 

On passe au bloc principal suivant sur la m§me ligne. S'il est lui aussi periodique. on stocke k nouveau sa matrice 
d'erreur. On finira par arriver k la fin de la structure periodique. en I'occurrence le bord droit du zebre. 

Soient (il.JI) les coordonn6es du premier bloc principal periodique rencontre, et (i2.J1) celles du dernier. On 
precede au cumul membre k membra de toutes les matrices stockees. On obtient une matrice dont les composantes 
vaudront: ^ 



pour tout U€[.1 6,-14,, ..,14,16] et pour tout ve[-4 4] 

/ =/1,j2 
J = Jl 

On aurait obtenu la m6me matrice d'erreurs si on avait applique I'algorithme de base ^ un bloc principal de largeur 
{i2-i1 +1 ) fois la largeur d'un bloc principal unique. La matrice d'erreur a bien 6videmment la meme taille. 
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Cette matrice ne suffit pas encore pour determiner le bon vecteur de mouvemenl. II faut considdrer les blocs au 
debut et ^ la fin de la structure p6riodique. En effet, ces blocs contiennent en g6n6ral le borci de la zone periodique 
en mouvement et permettent done de lever Tambiguit^ des informations contenues dans la matrice d'erreur 

Apres avoir d6termin6 la matrice ci-dessus, on proc6de de la mani^re suivante: 

on considfere les vecteurs des deux blocs principaux en d6but et fin de la structure p6riodique. Pour chacun, on 
©xtrait de la matrice Sum ferreur correspondante. Le vecteur dont Terreur est la plus petite sera retenu, 
si ce vecteur ne correspond pas S un minimum local de sa ligne de la matrice d'erreur Sum, on selectionne le 
minimum de la matrice d'erreur et on retient le vecteur correspondant, 

enfin, pour obtenir un coherence verticale entre les blocs p6riodiquGs adjacents, on teste si un des blocs imm6- 
diatement sup6rieurs ^ cette rang6e de blocs p6riodtques est 6galement p6riodique et dans ce cas, on retient son 
vecteur, k condition toutetois qu'il corresponde bien ^ un minimum dans la ligne de la matrice d'erreur 

Le vecteur retenu sera ainsi le vecteur utilise pour I'ensemble des blocs de la structure p6riodique. 
Apres avoir effectue la determination des vecteurs et 6ventuellement la premiere et ou la seconde correction, on 
obtient un champ de vecteurs not6: 
avec 0<^22 et 0<j^35 

Affinage de la resolution spatiale du champ de vecteurs 

Cette phase du proced6 est utilis6e deux fois de suite, pendant les p6riodes 2 et 3. 

II s'agit d'essayer de caract6riser plus finement le mouvement en attribuant des vecteurs ^ des 6l6ments plus 
petits: les sous-blocs (qui, selon le pr6sent exemple ont une taille de 4*4 pixels). Ceci permettra d'obtenir une meilleure 
adequation du champ de vecteurs aux bords d'objets mobiles. 

Selon le present exemple, il y a 180 sous-blocs dans une largeur d'image et 144 sous-blocs en hauteur. 

Conformement au present exemple de realisation, on ne recalcule pas I'ensemble des erreurs associ^es a la 
gamme entiere de vecteurs de nrrauvements possibles comme cela a et6 fait pour les blocs principaux. On choisit pour 
chaque sous-bloc des vecteurs candidats parmi les vecteurs des blocs principaux et on determine I'erreur gener6e 
par chacun de ces vecteurs candidats. 

Dans le cadre du present exemple, les vecteurs candidats pour un sous-bloc sont les vecteurs des quatre blocs 
principaux les plus proches de ce sous-bloc. Le vecteur engendrant I'erreur la plus faible sera attribu6 au sous-bloc. 

Le fait d'utiliser des vecteurs candidats associes k des blocs principaux adjacents au bloc contenant le sous-bloc 
considere permet de determiner precisement les bords des objets mobiles, et par consequent les frontieres des zones 
de mouvement unlforme: si le bord d'un objet en mouvement depasse juste un peu dans un bloc principal le vecteur 
trouvd pour ce dernier sera un vecteur indiquant I'arri6re-plan et non I'objet en mouvement, parce que la plus grande 
partie des pixels de ce bloc principal appartiennent k cet arriere-plan, dont le mouvement peut etre different de celui 
de I'objet. Par consequent, le bord de I'objet ne sera pas reconstitu6 de nnaniere correcte. 

Par centre, si pour les sous-blocs du bord de I'objet. on considfere aussi les vecteurs des blocs principaux adjacents, 
le mouvement de ces sous-blocs sera correctement estime, puisqu'au moins un des blocs principaux adjacents fera 
partie de Tobjet en question. 

Trame 2 

On cherche ^ determiner le champ de vecteurs minimisant la difference des luminances des sous-blocs entre les 
trames 1 et 2/3. Cependant, c'est la trame de sortie 2 qui sera finalement affichee. Pour am6liorer la precision, on 
considere par consequent les sous-blocs comme fatsant partie de cette trame 2. 

Pour chaque sous-bloc de la trame 2, on determine quatre blocs principaux adjacents de la mani6re suivante: on 
projette orthogonalement le sous-bloc sur la trame 2/3 (voir figure 8). Les quatre blocs les plus proches seront alors 
choisis comme suit: 

Si on parie du sous-bloc (i,j) (0<i<180, 0<j<144), on dira que les 4 blocs principaux pertinents sont: 
Si imod8< 4 alors i'=-1 sinon i =1 
Si jmod4< 2 alors j'=-1 sinon j'=1 
Rel(i|j (1) = MB(i v8,j v4) 
Rel(j jj (2) = MB(i v 8 + i*,j v 4) 
Relfjjj (3) = MB(i v 8,j v 4 + j') 
Rel(i,j) (4-) ^ MB(i V 8 + i'J v 4 + j') 

ou le quotient de la division euclidienne de a par b est note avb et son reste amodb. 

Une fois les vecteurs candidats choisis, il faut les comparer entre eux. Comme indique plus haut, le sous-bloc fait 
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partie de la tramo affich^e. Le vecteur du bloc principal en 
calculer les 2/3, et on arrondit le r^sultat. On obtient ainst le 
vecteur restant correspond au mouvement entre la trame 2 
vement rear vector e\ front vector, on a: 



question est done mis a I'echeHe. On commence par en 
vecteur de mouvement entre la trame 1 et la trame 2. Le 
et !a trame 2/3. Si on appelle ces deux vecteurs respecti- 



Pour m = 1,2,3 

Rear (-.^(m) = imf^^-Rel (,,)(m)j 

Front f- .j{m ) = Rel {. .^(m ) - Rear (. .^(m ) 



On calcule ensuite les quatre erreurs associees k ces quatre vecteurs: 



Pour m= 1,2,3,4 

k=a2 
1=0,2 



..^,J-.Front(,.,(m).- 



-P' 



s^.j+,J-R«3^ai)("')'0| 



oij Sx et Sy representent les tallies en pixels en abscisse et en ordonnee d'un soubloc. 

Le vecteur du sous-bloc sera le vecteur donnant une erreur minimale. En balayant tous les sous-blocs on obtient 
un champ de vecteurs note Raw(i,j). 

Selon une variante de realisation, les composantes des vecteurs de ce champ sent soumises a un filtrage median 
pour ehmtner les valeurs aberrantes; en eff et, une petite erreur sur un sous-bloc est moins visible qu'une heteroqeneite 
locale du champ de vecteurs. 

Soient: 



a = (1 0)»RaW(j., jj; a'= (0 1).RaW(i 
b = (1 0).RaW(ij):' b'=(0 1)-Raw(i jj 
c = (1 0)»RaW(i^i c'=(0 IhRaw^j. 

Le champ de vecteurs s'6crit alors 



SB,(U) = 



med(a,b,c) 
^med(i 



a,b,c) ^ 



Le filtrage median est done r6alis6, pour un sous-bloc donn6. en tenant compte du vecteur prdcedemment calcule 
pour ce sous-bloc et des vecteurs des sous-blocs horizontalement adjacents. 
On obtient done un champ de vecteurs pour des sous-blocs de 4*4 pixels. 

On d6finit dgalement pour chaque sous-bloc I'erreur assoctde au vecteur choisi. Cetle erreur est une mesure de 
la confiance accord6e k chaque vecteur de mouvement. L'erreur s*6crit: 
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Err,(M)= ^ 

k=0,XZ3 
1=0,2 



P' 



Trame 3 



IS 



2S 



30 



Comme cela a dt6 fait pour la trame 2, un calcul de vecteurs au niveau des sous-blocs est entrepris pour la trame 
3. en estimant le mouvement entre les trames 2/3 et 4. Cependant, le calcul est different de celui pr6c6demment mis 
en oeuvre. En effet, selon le present exemple de realisation, on ne calcule pas de vecteurs de mouvement pour des 
blocs principaux entre les trames 2/3 et 4, ceci pour des raisons d'6conomie de Mgnes h retard. En effet, s'il fatlait 
calculer pour la trame 3 a la fois les vecteurs des blocs principaux et ceux des sous-blocs adjacents, il faudrait, pour 
un sous-bloc donn6, avoir calculi les vecteurs des tous les blocs principaux adjacents, et cela introduirail un retard 
correspondant approximativement au nombre de lignes contenu dans une rang^e de blocs principaux.. 

Les vecteurs des sous-blocs pour la trame 3 seront calculds k partir du champ de vecteurs pr6c6demment calcule 
pour les blocs principaux entre les trames 1 et 2/3. Ceci pose des problemes en cas de mouvements rapides, etant 
donn6 que les vecteurs des sous-blocs seront alors calcul6s k partir de vecteurs ne refl6tant plus le mouvement r6el. 

Selon le present exemple de realisation, on rafraichit les informations concernant les blocs principaux en cr6ant 
un champ de vecteurs pour des blocs dits bloc intermedia) res, dont la taille est, justement, interm6diaire entre celle 
d'un bloc principal el celle d'un sous-bloc. 

Selon le present exemple de realisation, les blocs interm6diaires ont une taille de 32 pixels par 4 lignes: ils ont la 
largeur d'un bloc principal et la hauteur d'un sous-bloc. On calcule, k partir des trames 2/3 et 4 et du champ de vecteurs 
des blocs principaux determine pour les trames 1 et 2/3, le champ de vecteurs h resolution spatiale moyenne associe 
a ces blocs interm6diaires. On en deduira dans un second temps le champ de vecteurs des sous-blocs. L'on voit que 
si le champ de vecteurs determine entre les trames 1 et 2/3 est pris comme source de vecteurs candidats, les calculs 
d'erreur seront neanmoins effectues a partir de I'information des trames 2/3 et 4. 

De meme que pour les sous-blocs de la trame 2, on considers que les calculs sont effectues pour des blocs 
intermediaires appartenant a la trame de sortie, k savoir la trame 3. Comme precedemment, on sera amen6 k decom- 
poser les vecteurs de mouvement a appliquer aux blocs intermediaires en deux vecteurs. Ainsi, pour un vecteur (u, 
v), on delerminera deux vecteurs Front et Rear comme suit: 
Fronts §(u,v) 
Rear=(u,v)-Front 

Uerreur associee au vecteur de mouvement (u,v) pour un block Intermediaire (ij) s'ecrira: 



45 



Err. 



Intermediate 



(1))= z 



Mc-i + k 



-Front(i,j),^ 



Lis, KiJ-'''='"-'*'^ 



Pour un bloc intemn6dtaire donn6 de la trame 3, on determine le bloc principal qui lui correspond: c'est le bloc 
principal qui, projete orthogonalement sur la trame 3, contient ce bloc interm6diaire. 

On determine un certain nombre de vecteurs candidats pour un bloc intermediaire donne: 

so 

le vecteur du bloc principal correspondant. 

le vecteur d6duit du vecteur du bloc principal ci-dessus en modifiant sa composante horizontale d'un pas de quan- 
tification dans le sens positif, 

le vecteur deduit du bloc principal ci-dessus en modifiant sa composante horizontale d'un pas de quantification 
dans le sens n 6 gat if, 

le vecteur du bloc principal le plus proche (au-dessus ou en-dessous) du bloc intermediaire. 

le vecteur deduit du bloc principal ci-dessus en modifiant sa composante horizontale d'un pas de quantification 

dans le sens positif. 
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' IZTslTnZT"^ '"""'"'^ '^^-''--•^ P- cie quantification 

Selon le present exemple de realisation, les six vecteurs candidats seront done 
Si jmod4 < 2 alors j'=-i sinon )'=1 
Re|iB^ijj(1) = MB{i,/v4) 



Rel '\j)(2)=MB(i,jv4)+Q 
Re' '\j)(3)=MB(i,jv4) + |^"^^j 

f^sl'^<i.j)(4) = MB{i,jv4+j') 

Rel '\j)(5) = MB{i,jv4+j')+|^^j 



Rel '\j)(6) = MB(i,jv4+r) ^ ^ 



oil le quotient de la division euclidienne de a par b est note avb et son reste amodb 

.c^!:Z^irT ^ "^"'^"'^ ""^"^ composante verticals que le premier vecleur, les composantes hori- 

zontales etant modifi^es. De meme, les cinqulfeme et sixi^me vecteurs ont la meme composante veS que e 
quat^me vecteur, es composantes horizontales 6tant modifi^es. Ce choix est dO ^ la taille des btocs in^^Lrei 
au ait^^^r TT. °" ""'^ intermedialres de taille verticale plus m^ortan e 1i 

aura, et6 envi^geable d'effectuer une correction de la composante verticale. Mais ici. avec seulemen Teu^Tqnes 
par^b-oc .nterm6d.a.re. est difficile de determiner de mani.re fiable una composante verticale et don^ . fort'ri del 

ro.»n°." I'erreur associee a chacun des six vecteurs. et ce pour chaque bloc interm6diaire Le vecteur 

retenu pour un bloc .ntermed^ire parmi les six vecteurs candidats est celui donna^t I'erreur minimal^ 

d engendrer de trop fortes discontinuit6s dans le champ de vecteurs en cas d'images bruit6es 

On obtient finalement un champ de vecteurs ^ resolution spatiale moyenne note IB(i i) 
nH,Jf "^""tl* '^^ restimation de mouvement de la frame 3 consists ^ dStemiiner un champ de vecteurs de 
auZf ?"^H° ''T'\T, "'^""P '"'^ intermediaires. On attribuera naturellemenf un stus bS 

sous-bloc te preriiier vecteur candidat est celui du bloc interm6diaire dont fait partie le sous4.loc, tandis que le second 
vecteur est celu. du bloc interm6diaire adjacent tel que dSfini ci-dessous 

Pour un sous-bloc de coordonn6es (i.j). les deux vecteurs candidats seront 
Si imodS<4 alors i'=-1 sinon i'=1 
Rel(ij)(1) = IB(ivB.jv4) 
F>e'(ij)(2) = IB(lv8 + i',jv4) 
On calculera done les vecteurs: 
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Pour m= 1,2 

Front (m) 

^^^f ,. .>(m) = Rel (m)- Front , (m) 
(i.j) (i,j) 



Puis les erreurs: 



Pour m= 1,2 



Err ,(m)= ^ 
1=0,2 



S -i + k 

X 

S j + l 
Y 



+Front (m),1 



-P' 



S -i + k^ 

X 

S j + l 

y y 



-Rear (m),^ 



Le vecteur donnant la plus petite erreur sera retenu. 

On proc6de 6galemen1 k un fiftrage median du champ de vecteurs (SBg(i,j)) obtenu, et on calculera le champ 
d'erreurs {Err3(i.j)) correspondant. 

Reduction de bruit 

La reduction du bruit comprend deux etapes: 

une reduction de bruit spatiale. 

une reduction de bruit temporelle compensee en mouvement. 

La premiere etape fait appel a I'information contenue dans une seule trame, tandis que la seconde 6tape fait appel 
a I'information contenue dans plusieurs, en I'occurrence deux, trames successlves. 
Dans ce qui suit, seul le filtrage de la luminance sera decrit. 

Dans le cadre du present exemple, le filtrage spatial de la chrominance n'est pas consid6r6 comme necessaire, 
les echantillons de chrominance etant trop 6loign6s les uns des autres pour que le filtre, median de type directionnel 
ait un sens. II est bien Evident que la chrominance pourra 6galement etre filtrde, notamment si I'information de chro- 
minance est plus dense, notamment si elle avail une resolution identique h celle de la luminance. 

Le filtrage temporel de la chrominance se d6duit directement de celui de la luminance en considerant des trames 
d'entree dont la taille est divis6e par le facteur de sous-dchantillonnage de la chrominance, (sort par 2 dans la direction 
des abscisses x pour un format d'entr6e 4:2:2). II taut 6galement diviser la composante x des vecteurs de mouvement 
par ce meme facteur. 

Reduction de bruit spatiale 

La reduction spatiale de bruit est destin6e a r6duire le bruit impulsionnel dans les trames d'entree. 

Selon le present exemple de realisation, le filtre spatial est un filtre median directionnel, qui possfede Tavantage 
de ne pas d^grader les fronts et les textures fines d'une image. Un simple filtrage Iin6aire ou median n'aurail pas cet 
avantage. 

Le filtrage median directionnel est realise ici sur trois pixels: le pixel "courant", ainsi que deux pixels adjacents 
situds sur une meme droite passant par le pixel courant. Compte tenu de ces restrictions, quatre directions de filtrage 
sont possibles: horizontale, verticale et deux diagonales. 

Le choix de la direction k consid^rer est fait en fonction de la correlation existant entre les trois pixels d'une meme 
direction. 

Le tableau suivant represente le pixel courant (X22) entour6 de ses pixels adjacents: 



x11 



x12 



x13 
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(suite) 



x2l 


X22 


x23 


x31 


x32 


x33 



La direction horizontale (appel6e d1) passe par les pixels X21 , X22 et X23. 
La direction verticale (appel6e d2) passe par les pixels XI 2. X22 el X32. 
La premiere direction diagonale (d3) passe par les pixels X31, X22 et X13. 
La seconde direction diagonale (d4) passe par les pixels XII, X22 et X23. 

Les coefficients de correlation associ6s 6 chacune des directions sont respectivement not6es c1 ^ c4 et les valeurs 
filtrees m1 a m4. 



Selon d1: 

c1= min(lx21- x22Mx23 - x22l) 
m 1 ^med(x2 1 , x22,x23) 
Selon d2: 

c2 = min(lx12-x22l,Ix32-x22l) 
m2 = med{x12,x22,x32) 
Selon d3: 

c3= nnin{lx13-x22l,lx31-x22l) 
nn3 = nned(x1 3,x22,x31 ) 
Selon d4: 

c4 = mtn(Ix11 -x22l,lx33-x22l) 
m4 = nned{x1 1 ,x22,x33) 



La direction pour laquelle le coefficient de correlation est le plus faible sera retenue. 

D'autres fonctions de correlation peuvent egalement etre choisies. De meme, le filtrage peut etre realise sur plus 
de trois pixels ou dans plus de trois directions, si la fenetre utilisee le permet. 

Reduction de bruit temporelle compensee en mouvement 

Un int6r6t non n^gligeable de restimation de nnouvemenl est qu'elle permet I'application de proc6d6s de reduction 
de bruit compenses en mouvement. 

On part de I'hypothese que le brurt perturbant une image de television est sensiblement d'esperance mathematique 
nuHe. c'est a dire que sa moyenne temporelle sur plusieurs images tend vers zero. On peut done reduire les compo- 
santes a haute frequence de ce bruit en realisant un filtrage passe-bas tempore! de i'image. 

Un precede de filtrage connu consiste a realiser un filtrage numerique recurrent pixel a pixel. Ce proc6de comprend 
la memorisation, pour chaque pixel, d'un certain nombre d'echantillons. et I'application d'une relation de recurrence 
entre ces valeurs memorisees et un pixel courant. On peut ainsi determiner une valeur filtree pour ce pixel courant, 
ainsi que mettre ^ jour les vaieurs memorisees. Le choixde la relation de recurrence et le nombre determes memorises 
d^terminent I'efficacrte du filtre. 

Cependant. I'application d'un fiitre passe-bas tempore! ^ une sequence d'images de television possdde un defaut 
majeur: el!e engendre par la nature meme de ce filtrage une trainee suivant tous les objets mobiles, ce phenomene 
etant similaire k ce qu'on I'on pourrait voir sur un tube cathodique a forte remanence. Get effet est tres visible sur 
certains tei6viseurs commercialisms. 

Selon le present exemple de realisation, cet effet est at16nue en utilisant les vecteurs de mouvement dejA calcules 
lors de la mise en oeuvre de la relation de recurrence. La recurrence sera realisee non pas sur des pixels de coordon- 
n6es fixes, mais sur des pixels translates par les vecteurs de mouvement. En d'autres termes, on suit le deplacement 
des objets pour faire correspondre des pixels images d'un meme point de I'objet mobile. 

Dans le cadre du present exemple, la reduction de bruit temporelle est realisee grace k une unique memoire de 
trame sur les frames d'entr6e (filtr6es spatlalement). On mettra en oeuvre le cfiamp de vecteurs ^ precision maximale. 
^ savoir le champ de vecteurs des sous-blocs. On commencera done par calculer les vecteurs ^ parttr de la trame 
m6moris6e et de la trame d'entr6e non reduite en bruit, Le champ de vecteurs ainsi obtenu sera utilise pour reduire 
en bruit la trame d'entree. L'interpolation sera realis6e entre la trame d'entr6e ainsi trait6e et entre la trame m6morjs6e: 
les deux frames servant k ^interpolation auront done subi une reduction du bruit. 

Dans le cadre du present exemple, une seule memoire de trame est utiiis6e: on ne retient pour chaque pixel qu'un 
seul echantillon dans le pass6. La recurrence portera done sur deux termes: le pixel "courant" et un 6chantillon me- 
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morise. 



La reduction de bruit s'articule en deux parties: 

Mise en correspondance des pixels sur lesquels va porter la relation de recurrence. 
Application de ta relation de recurrence. 

La mise en correspondance des pixels est r6alis6e sous-bloc par sous-bloc de la trame d* entree. On met en 
correspondance les pixels d'un sous-bloc de la trame d'entree et les pixels du sous-bloc d6signe par le vecteur de 
mouvement correspondant dans la trame memoris6e. On realise done une projection de la trame memorisee suivant 
le champ de vecteurs de mouvement. 

Si Ton designe la luminance de la trame d*entr6e par 



IS 




celle de la trame reduite en bruit contenue dans la m^moire par 



20 




25 



et celle de la trame projetee par 



30 




cette derniere s'ecrit, pour la trame 2/3: 



35 



Vx€{0,1,.,„720} 
Vy g(i,3,5,,..,575} 



40 




45 



avec 

i = xmod4 
j - ymod4 
Et pour la trame 4: 



so 



Vxe{0,l...,720} 
Vye{0,2,4,...,574} 



55 
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avec 
i= xmod4 
j = ymod4 

H s'agit maintenant de definir et d'appliquer une relation de recurrence. Elle portera comme indique plus haut sur 



(:>] t) 



et don n era 



{(:)•]• 



A supposer que faspect d'un objet change peu d'une trame ^ Tautre. et en tout cas lentement par rapport ^ la 
constante de temps du filtre. les differences de luminosite ne sont dues qu'au bruit. Dans le cadre du present exemple 
la relation de recurrence utilisee est done: ' 



c)'i=*>]Kf>]-t>: 



ou f est une fonction non-lineaire adaptee au bruit, issue de la fonction non lineaire NL representee sur la figure 
10 (a), avec le schema du filtre recurrent utilise (Figure 10 (b)). Cette fonction possede une partie lineaire au debut de 
sa courbe: pour de faibles differences entre rimage regue et sa projection, la correction est maximale et le pixel de 
sortie est jnterpole Ifneairennent. avec un facteur % pour la projection et % pour ie pixel re9u. Si la difference croit fa 
probabihte d'effacer une transition reelle dans I'image croTt aussi. et on choisit de privilegier ie pixel recu jusqu'a ne 
plus tenir compte du tout de I'estimation si I'ecart est trop important. 

Selon le present exemple de realisation, on adapte cette fonction k la variance du bruit estime au moment du 
calcul des vecteurs de mouvement: on arrive ainsi a faire la difference entre le bruit a reduire et information a sauve- 
garder. 

NL s'6crit alors: 



xi-»NL{x) 



VO^ x< 1:NL(x) = min(^|x.:^x (x- 1)^ j 
Vx>1:NL(x) = 0, 



alors f est ia fonction impaire de R dans R dSfinie sur R* par: 



ou s est I'dcart- type du bruit mesur6 par Talgorithme et 
x^ le maximum local de la fonction NL. 
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On posera: 
s = Notseesi 



Selon une variante de r6alisa1ion du present exemple, la reduction de bruit temporelle n'est pas etfectu6e lorsque 
la confiance dans un vecteur de mouvement est Irop faible par rapport au bruit de rimage. 

Selon une autre variante de realisation, on realise un filtrage spatial de la trame nn6moris6e avant la projection 
suivant le champ de vecleurs de mouvement. En effet. 6tant donn6 le sous-^chantlllonnage effectu6 avant Testlmatlon 
de mouvement, la precision des vecteurs de mouvement, et par consequent de la projection est de deux pixels. Les 
details plus fins sont e!imin6s par rinterm6diaire d'un fiHre passe-bas lindaire, Des mesures ont montr6 qu'un filtrage 
passe-bas abaisse le niveau de bruit d'environ 2 dB suppl6mentaires. 



Aprds avoir obtenu pour chaque trame ^ Interpoler un champ de vecteurs le plus exact possible, il s'agit d^sormais 
de d6duire de cette information et des frames d'entr^e les frames que I'on va afficher. Selon la trame prise en consi- 
deration, on ne visera pas les memes objectifs. 

On se tiendra notamment aux lignes de conduite suivantes: 

on tentera de garder une homogeneity dans les diff6rentes procedures d' interpolation adapt6es a chaque trame: 
une difference trop brutale entre deux types d'interpolatlon conduit d des differences d'aspect d'une trame sur 
I'autre qui. repetees 75 fois par seconde. engendrent un scintillement plus genant que celui que Ton cherche a 
reduire; 

on prendra les mesures necessaires pour qu'une erreur sur un vecteur de mouvement, m6me importante en valeur 
mais suffisamment localisee, ou une difference entre le champ de vecteurs reel et celui mesure due par exemple 
a fa quantification, ne cr6e pas de perturbation trop visible. De plus, la presence de bruit dans I'image ne doit pas 
mettre en echec le procede d'interpolatlon. 

Interpolation de la trame 1 (luminance) 

La trame 1 est un cas particulier, en ce sens que ses lignes paires sont reprises telles quelles. 11 faut cependant 
reconstituer les lignes impaires. 

On notera Pi(x,y) avec (0:£x^19;0^y^575) la luminance d'un pixel de la trame 1. 

Selon le present exemple de realisation plusieurs types d'interpolation sont mis en oeuvre pour reconstituer les 
lignes manquantes: 

interpolation lineaire verticale par moyennage (filtrage spatial pur) 
entrelacement des frames 1 et 3 dans les zones immobiles (filtrage temporel pur), 
interpolation mettant en oeuvre les vecteurs de mouvement (filtrage spatio-temporel) 

Le choix du type d'interpolation est fart bloc principal par bloc principal en fonction de criteres Ii6s au vecteur et k 
I'erreur associee au bloc. 

Le vecteur associe ^ un bloc principal de la trame 1 est celui associe au bloc principal de m6me position dans la 
trame 2/3. Bien que I'estimation de mouvement ne soit pas effectuee pour les blocs de la trame 1 . mais pour les blocs 
de la trame 2/3, on prend neanmoins en consideration ces vecteurs. En effet, si I'on s'eioigne des bords des objets en 
mouvement et si le mouvement est r6gulier, les vecteurs obtenus par estimation directe sur les blocs de la trame 1 
seraient similaires aux vecteurs calcules pour la trame 2/3. 

L' interpolation Iin6aire verticale (filtrage spatial pur) est une solution de repli utillsee lorsque la confiance dans le 
vecteur de mouvement detecte est trop faible. Pour le present mode de realisation, on utilise I'interpolation: 



Le moyennage vertical a I'inconvenient de faire apparaTtre des "escaliers" trds visibles sur les lignes diagonales. 
De plus, il donne une definition mediocre, 6gale tout au plus k celle d'un teieviseur conventionnel. Enfin, II cree ne- 
cessairement un scintillement de ligne puisqu'on ne peut interpoler les frames 2 et 3 de cette maniere. On cherchera 
done a eviter si possible le moyennage vertical. 



Interpolation 
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Ce filtrage spatial pur est mis en oeuvre I int6rieur du filire spaticMemporel decrit plus loin 
SI le vecteur de mouvement associ6 a un bloc principal est nul, on realise un filtrage dit filtrage temporel pur en 
ce sens que les l.gnes manquantes de la trame 1 sont choisies dans une autre trame. On realise ainsi un entrelacement 

drrerr^r ntt^r T^'h ' '""'^ '^^'^^'^'^ ^^^^'^"^ d""" bloc principal est la comparaison 
de I erreur de I est.mat.on de mouvement par rapport ^ un seuil. Si ferreur est Inf6rieure a ce seuil alors le bloc est 
jug6 statique. En eftet, si seulement une partie du bloc est statique, I'autre partle engendrera n6anmoins une erreur 
u I iportori IS, 

Le critere s'6crit: 

MBError{iJ)<SeuilxNoisest 

et le pixel interpold s'^crira: 

pour y pair: 

Pi{x.y) = P(x.y.O) 

poury impair: 



Ce type d'inlerpolation permet, par rapport a I'interpolation de type verticale par moyenne, de permettre une de- 
f.nitton verticale double et de supprimer le scintillement de ligne. po"neure une ae 

Si le vecteur de mouvement est non nul ou si le vecteur de mouvement est nul. mais que le criifere portant sur 

ZZZ^'T : P^t.''^'^^'"' "'"'^ ^"^P"' ^'"^^ spatio-temporel est utilise pour I'interpola ion 

Dans le cadre du present exemple, il s'agit d'un filtrage de type median. <nierpoiaiion. 

r«m ^'^ ^^^^ median permet de conserver une bonne definition et de respecter les fronts de I'image contrai- 

rement aux filtres purement lineaires. ^ ^unudi 

La figure 11 illustre ce type d'interpolation. Sur cette figure, un "X" designe le pixel a interpoler un rond desiqne 
un pixel de la trame 1 et un triangle un pixel de la trame 2/3. a k p r. un rona aesigne 

La valeur d'un pixel interpole est determinee en deux temps; 

- dans un premier temps, on determine trols valeurs correspondant a trois filtres Fl. F2 et F3. 

F1 realise une moyenne des valeurs du pixel (b1) situe au dessus du pixel a interpoler et du pixel (b2) situe 
en dessous du pixel a interpoler, ^' v ; vuc 

F2 donne la valeur mediane entre b1 . b2 et la valeur du pixel (b) de la trame 2/3 correspondant ^ la translation 
par le vecteur de mouvement appropri6 du pixel ^ interpoler de la trame 1 
F3 donne la valeur mediane pamii la valeur du pixel b et de^ 
(a1 . cl , a2. c2) au pixel ^ interpoler. 

- dans un second temps, on determine la valeur mediane parmi les trois valeurs donn^es par ces filtres. 

Soit MB(i,J) le vecteur du bloc principal dont lait partie le pixel que Ton cherche k interpoler 

Soient: 
v^ =(1 O).MB(iJ) 
Vy=(0 1)-MB(i,j) 
Pour y pair: 



P,(x,v) 



Pour y impair: 
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Fl(x.y) 




5 



F3(x,y) 



F2(x,y) 



meds P 



meda 




75 



Finalement: 



Pi (x.y) =med3(F1(x,y);F2(x.y);F3{x.y)) 

On construit ainsi un filtre portant sur sept valeurs do pixels, dont un seul n'appartient pas a la trame courante. 
Les effets dus h une mauvaise estimation de mouvemont sont ainsi att6nu6s. 

□'autre part, la definition sera bien conserv6e et les contours des objets bien suivis de par le fittrage median 
directionnel qui agit & la tois dans les directions verticale et diagonales. 

Interpolation de la trame 2 (luminance) 

Uinterpolation de la trame 2 s'etfectue h partlr du champ de vecteurs au niveau des sous-blocs. Tous les pixels 
de la trame doivent etre tnterpolds, puisqu'elle ne se confond pas temporellement avec une trame d'entrde, comme 
cela est le cas pour la trame 1 . 

Par souci d'homogen6it6. les m^canismes d'interpolation utilises pour la trame 2 possedent des caract6ristiques 
semblables h ceux d6jci employes pour la trame 1 . 

On precede done sous-bloc par sous-bloc. 

De la meme maniere que pour la trame 1 , si I'erreur liee au vecteur de mouvement d'un sous-bloc est importante. 
rinterpolation est r6alis6e avec le filtre spatio-temporel d6j^ utilis6 pour la trame 1 . Cependant, la trame 2 6tant situ6e 
temporellement entre la trame 1 et la trame 2/3, le vecteur de mouvement entre les trames 1 et 2/3 est separ6 en deux 
vecteurs. Tun (Front vector) indiquant le mouvement entre la trame 1 et la trame 2, I'autre indiquant le mouvement 
entre la trame 2 et la trame 2/3. Chacun de ces deux vecteurs est arrondi & une valeur entiere. On rappelle qu'une 
decomposition identique en deux vecteurs d'un vecteur de mouvement a 6t6 utilisee lors du calcul des vecteurs de 
mouvement associ6s aux sous-blocs de la trame 2. Les arrondis seront effectu6s de la mdme maniere dans les deux 
cas, pour dviter d'ajouter des erreurs. 

Si (i,j) reprdsente les coordonn§es du sous-bloc contenant le pixel h interpoler, on calculera les vecteurs: 



On determine ensuite trois valeurs pr6Iiminaires (a, b. c). Le calcul diffdre selon que le pixel 6 interpoler est situ6 
dans une ligne paire ou impaire. 
Pour y pair, soient 
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Rearaj) = lni[i.SB,(ij)] 
Fron<i,j) = SB2(ij)-Rear(i,j) 
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b = P 



0- 



Rear(i.j).0 



c = P 



alors: 



P,(XV) = med3[li:|±^;med3(a,b,c);ii:|l3)^ 



Pour y impair, on pose de meme: 



a =P 



b =P 



c = P 



(^y^^j-Rear(i,j),0 



|^^j + Froni(i,j),| 



-Rear(i,j),0 



alors: 



P.(^y) = med/ii±|:^;med3(a.b,c);i^l|:^] 

Ce filtrage est illuslre par la figure 13. 

P2(x,y) est la valeur du pixel interpol6 et correspond k la valeur m6diane parmi trols valeurs: les resultats de deux 
filtres lin^aires et d'un flltre median k partir des valeurs des pixels a, b et c. 

Les deux filtres lin^aires rdalisent une interpolation temporelle avec des coefficients de ponderation correspondant 
aux positions relatives du pixel h interpoler par rapport aux pixels a, b, c. II faut noter que ce sont deux filtres temporets 
purs, c'est ^ dire n'utilisant qu'un seul pixel dans chacune des trannes d'entr6e. Ceci permet d'6viter une perte de 
resolution verticale. 

Le filtre m6dian permet 6galement de conserver k la trame g6n6r6e une bonne resolution spatiate Mais il permet 
aussi de garder une certaine homog6n6it6 entre les diff^rents m6canismes tf interpolation des trois trames 

Si le vecteur de mouvement lid k un sous-bloc est nul et si la confiance accordde k un vecteur est bonne (erreur 
faible), rinterpolation sera, comme dans le cas de la trame 1. de type interpolation temporelle pure' on entrelace les 
lignes des trames 1 et 2/3: 
Pour y pair 
P'2(x.y) = P(x,y.O) 
Pour y impair: 



24 



EP 0 781 041 A1 



10 



IS 



25 



On calcule d'autre part, selon une variante de r6alisation, une seconde valeur possible pour ce pixel, appel6e 
valeur de repli. Celte valeur, not6e Fallback2(x,y), correspond k un filtrage llndaire coupant tr^s sev6rement les hautes 
frequences spatiales sur les deux trames concern6es: 



Fallback2(x,y) = — (l 2 3 4 3 2 1) 
1 6 



fP(x-3,v,0) 
P(x-Zv,0) 
P{x-ty.O) 

P(x.y.O) 
P|x+ly,0) 
Plx+Zv,0) 

t,P(x+3,y,0)^ 



''P(x-3.y.4)'| 
P(x-ay,I) 
P(x-1,y.i) 

P{x.y,^) 
P(x-t-1,y.I) 
P(x+2,y,^) 

^P(x+3.y,^); 



Les valeurs de pixel non d6finies dans les trames seront ln1erpol6es en utilisant simplement un fllire spatial vertical 
sur les pixels superieurs et inferieurs. 

On d6finit dgalement la confiance port^e ^ un vecleur de mpuvament comme: 
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Error^ (x.y) 
Conf(x,y) - ■ ,_f,. — — 
" NBPixol 

ou NBPixel represente le nombre de pixels contanus dans un sous-bloc sous-echantillonne. Conf(x,y) represente 
I'erreur ramenSe k un pixel. 

La valeur P2(x,y) du pixel Interpol^ sera alors: 

P,(xy) - med/p -.(^y) - £^J<2l^,Fal.back(x.y),P (x,y) + 

\ Scale Scale ) 



La valeur P2{x.y) est egale k la valeur du pixel compens6 en mouvement mais encadrde de manidre a ne pas 
pouvoir s'ecarter de la valeur du pixel de repli d'une valeur sup6rieure k la confiance divis^e par un tacteur correctil. 

^ interpolation de la trame 3 (luminance) 

Les m6canismes sont tr6s semblables k ceux ennploy6s pour la trame 2. La trame 3 est interpol6e k partir des 
trames 2/3 et 4 (c'esl k dire la trame 1 du cycle suivant) et des vecteurs des sous-blocs SB^(i,}\ Seuls les coefficients 
d'interpolation et les aspects de parite des lignes vont changer. 
50 On calculera done les vecteurs: 



Fronliij) = int[|.5S3(/,y)] 
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et les points seront calcules: 
Pour y impair, soient 



alors: 



P3(x,,) = W3[^<£±P>,W3(a.*,c);ii^ 



Poury pair, on pose de mBma: 



a = P 



(;-]■ 



A = ^ir \ + Front{ij),l 



alors 



La figure 14 illustre ce filtrage. 

Si la confiance est tr6s bonne et le vecteur nul, on optera encore pour une interpolation temporelle 
y pair 
y impair 
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Fallbacl3{x,y) = —{l 2 3 4 3 2 1) 

16 



1 ^ 

P(x-l,y,^y 

P(x.y,^) 
Pix + l.y,^) 
Pix + 2,y,^) 
P(x + 3,y.h, 



[P(,x-\y,V)\ 
Pix-2,y,\) 

Pix-\,y,\) 

P(x.y,l) 
P(x + l,y.l) 
Pix + 2,y,l) 
i^P(x + 3,jv,l)j 



et la confiance que I'on porte au vecteur de mouvement, 



Conf(iJ) : 



Error^jij) 
NBpixet 



Enfin, on ^tablira la valeur du pixel affiche en interdisant k ce pixel de trop s'6carter de la valeur du pixel de repli 
si la confiance est mauvaise: 



On voit qu'ici, la continuity de Tinterpolation est bien assur6e avec la trame precedente puisque ralgorithme est 
calqu6 sur 1' interpolation de la tranne 2. Cependant, les vecteurs de sous-blocs ont un biais temporal -dO au fait qu'ils 
ont 6t6 calculus k partir des blocs principaux d6ternnin^s pour la trame de sortie pr6c6dente- qui rend la definition de 
cette trame plus nnauvaise que celle de la trame pr6c6denle, notamment dans le cas de mouvements rapidement 
6volutifs. 

Traitement de la chrominance 

L'interpolation de la chrominance est sujette k des contraintes beaucoup moins s6v6res que celle de la luminance; 
en etiet, la definition de I'oeil est beaucoup plus faible. D'ailleurs, la norme utilis6e pour la transmission sur le r6seau 
hertzien, dite format 4:1:1, inclut un sous-6chantillonnage aboutissant 6 transmettre une information de chrominance 
pour quatre informations de luminance, avec une repetition de rinfomnation de chrominance identique h elle-mdme 
sur deux lignes. Les tolerances sur les f litres utilises sont done beaucoup plus grandes. De ce fait, nous nous conten- 
terons de filtres simplifies. 

Les algorithmes d*interpolation de la chrominance sont done directemenl extrapoies de ceux d'lnterpolation de la 
luminance, en consid6rant des frames contenant deux fois moins de pixels horizontalement, et en divisant done par 
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deux la composante horizontale des vecteurs de mouvement. 

Pour la trame 1 . le filtre ^ 7 pixels d'entr6es utilise en luminance est limite ^ 3 pixels d'entree- 
Solent; 

Vy=^{^ O)-MB(iJ) 
v^ = {0 ^yMB(iJ) 
Pour y pair: 



Pour y impair: 



F-2{x,y) = medll Fl 



F3(x,y) = P 



i-.)»)C:.)-»H(;::;) 



-IN 



Finalement: 

P^(x,y)= med3(F^(x,y);F2(x,y);F3(x,y)) 

Pour les trames 2 et 3. les filtres medians temporals de la luminance sont conserves, mais on supprime le filtre 
de repli. Dans le filtre de reduction de bruit temporelle. le filtre horizontal est supprime. car il filtrerait trop bas les 
frequences spatiales. 



Mode film 



Le cas du mode film est celui des sequences vid6o qui sont g6n6r6es. non pas au format 625/50/2 mais en 
625/25/1 . Ces sequences sont done dans un format progressif k I'entr^e. ce qui veut dire que chaque image d'entree 
contient 2 trames correspondent au m6me instant. 

De la vient tout le probl6me: en effet si on applique k de telles sequences I'algorithme d^crit ci<iessus sans aucune 
modification, Testrmation de mouvement sera complfetement Inhib6e, puisque le calcul des blocs principaux se fera 
enire les deux trames de la mfime image, et que toutes les estimations successives qui d6coulent de ceux-ci ne 
g6n§reront que des vecteurs nuls. Si done aucun mouvement n'esl d6tecl6. aucune interpolation temporelle ou com- 
pensation en mouvement ne pourra etre faite. Ceci est tr6s genant, car k I'affichage de telles sequences on ne pourra 
que r6p6ter 3 fois k I'^cran chaque image d'entr6e. D'oij un effet de saccade particuli6rement d6sagr6able dans toute 
sequence comportant du mouvement. 

Une solution simple et peu coQteuse permettant de r6duire constd6rablement cet effet de saccade est la suivante- 
on va modifier la phase du traitement des informations de fapon k ce que le mouvement entre 2 images drfferentes 
soit d6tect6 et estim6, et que done une interpolation temporelle soit possible. 

Par consequent, ['estimation de mouvement principale (la phase des blocs principaux) devra se faire entre une 
trame 1 paire et une trame 2/3 impaire et non plus entre une trame 1 impaire et une trame 2/3 paire. Les chronogrammes 
donnas figure 15 illustrent ee mode de fonctionnement partieulier. 

Tout le traitement sera ainsi d6eal6 d'une trame 50h2. Ce qui veut dire qu'en sortie les lignes k interpoler auront 
la parite oppos6e k celle qu'elles ont lors du traitement normal. Mats les filtres et I'estimateur de mouvement fonction- 
neront de fa^on strictement identique. Ainsi on g6n6rera successivement: 
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une Irame 1 progressive en utilisant le champ de vecteurs de blocs principaux. en consen/ant les lignes d'entree 
et en interpolant les autres avec le filtre median spatio-temporel d 7 points d6cri1 pr6c6demment, 

• une Irame 2 progressive en utilisant le champ de vecteurs de sous-blocs estlm6 avec les trames 1 et 2/3 d'entree. 
On utilisera ici aussi le tiltre median lemporel k 3 points d6crrt pr6c6demment. Par centre au lieu d'appliquer les 
coefficients de pond 6 ration 2/3 et 1/3 ordinal res, on utilisera les coefficients 1/2 et 1/2; ce qui veut dire que la frame 
2 que Ton gdn6re ainsi est situde ^ 6gale distance entre les trames d'entrdes 1 et 2/3. Cette simple modification 
des coefficients constitue d elle seule une importante reduction de saccade, bien appreciable et sensible surloutes 
les images qui ont 6t6 trait6es. Voir figure 16 le schema explicatif de cette reduction de saccade. 

et enfin une trame 3 progressive utilisant normalement le champ de vecteur des sous-blocs corrig6 par les blocs 
interm6diaires. En fait, ici, puisque les trames 2/3 et 4 sont issues de la m6me image, il n'y a pas de mouvement 
entre ces deux trames. II suffit done de forcer les vecteur ^ z6ro ainsi que la confiance: de cette tagon le filtre d6crit 
precedemment entrelacera purement et simplement les 2 trames d'entree pour r6g6n6rer une image progressive 
parfaite. 

En conclusion, le mode film pourra dtre trait6 sans modification des filtres et m6canismes d'estimation de mouve- 
ment: il suffira de controler, lorsqu'on aura d^tectd la presence du mode film, la phase du traitement, les coefficients 
d'interpolation du filtre des trames 2 ainsi que les vecteurs et confiances des trames 3. La reduction de saccade ainsi 
obtenue sera done peu couteuse a impl^menter 



Revendlcations 

1. Precede de conversion de trames entrelacees en des trames progressives comprenant un changement de fre- 
quences de trames par interpolation et compensation de mouvement caracteriso on ce que 

lorsque le vecteur de mouvement associe S un pixel ^ interpoler est non nul ou lorsque ce vecteur est nul. 
mais que la confiance aceord6e k ce vecteur est inf^riaure k un seuil donn6, 

I'interpolation d'un pixel (x.y) d'une trame temporellement situ6e entre deux trames d'entree est r6alisee par 
un flltrage median portant sur les valeurs obtenues par un premier filtre temporel Iin6aire compense en mou- 
vement. un second filtre lindaire compens6 en mouvement et un filtre temporel median compens6 en mouve- 



2. Proc6d6 selon la revendication 1, caracterioe en c© que la confiance accord^e a un vecteur est une lonction 
Iin6alre de I'erreur engendr6e par ce vecteur 

3. Proc6d6 selon I'une des revendications 1 ou 2. earact6rlse en ce que lesdits filtres Iin6aires sont fonction de deux 
pixels (a.b respectivement b.c) situ6s respectivement dans les trames d'entree entourant temporellement la trame 
a interpoler, les coefficients lin^aires d'interpolation de chaque pixel correspondant au rapport des intervalles de 
temps s6parant la trame ^ interpoler et respectivement la trame d'entrde pr6c6dente et la trame d'entree suivante. 

4. Proc6d§ selon I'une des revendications 1 k 3. caracterise en ce que lorsque la trame d'entree prec6dente est 
impaire, ledit filtre temporel median porte sur les trois pixels suivants: 

pour les lignes paires de la trame k interpoler 



ment. 
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C = P 



alors: 



P2(x.y)=med(nna+(1-m)b;med(a,b.c);mc +(1-m)b) 
pour les lignes impaires de la trame a interpoler. 



'[(y!i)-'"='<i'i)'0] 

[[;).Fron«,i).l] 



Rear(i,jXo 



alors: 



Pg (x.y) = nried{{1-m)a +mb;med(a,b,c);(1-m)c +mb) 

ou Front(i J) et Rear(i,j) sont les fractions du vecteur de mouvement associe au pixel a interpoler. ce vecteur 
etant mis a Techelle et arrondi. ou "O" et "1/2" representent respectivement la trame d'entree precedani respecti- 
vement suivant la trame k interpoler. et ou m reprdsente un coefficient d'interpolalion dependant de la position de 
la trame a interpoler entre les trames d'entr6e. 

Proced6 selon I'une des revendications 1 a 4. caracterise en ce que lorsque la trame d'entree precedente est 
impaire. ledit filtre temporel median porte sur les trois pixels suivants: 

Pour les lignes impaires de la trame ^ interpoler. 



+ Front(u),1 



. = p[(;;]-Rear(i,j).i' 



alors: 
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P3(x,y)=med((1-n)a+b;med(a,b,c);(1-n)c +b) 
Pour les lignes paires de la trame d inlerpoler 



C = P 



b =P 



a =P 



||^^j + Front(i,j),lj 



alors: 



P3(x.y) = med(na +(1-n)b;med{a,b,c);nc +(1-n)b) 



ou Front(i,j) et Rear(iJ) sont les fractions du vecteur de mouvement associd au pixel k interpoler, ce vecteur 
etant mis k I'^chelle et arrondi, ou M/S" et "1 " repr6sentent respectivement la trame d'entr^e pr6c6dant respecti- 
vement suivant la trame k interpoler, et oCj n repr6sente un coefficient d'interpolatton dependant de la position de 
la trame a interpoler entre les trames d'entr^e. 

Proc6de selon la revendication 3 et I'une des revendications 4 ou 5, caracterise en ce que les deux pixels utilises 
pour chaque fiitre lineaire sont choisis dans le groupe de trois pixels utilise par le filtre tempore! median. 

Procede selon I'une des revendications pr6cedentes, caracteris^ en ce que 

les trames entrelac6es d'entrde sont issues d'images progressives d'entr6e de frequence 25 Hz et que la 
frequence des trames de sortie est de 75 Hz. une premiere trame de sortie (F1) etant temporellement con- 
fondue avec la seconde trame issue d'une premiere image d'entr6e, une seconde trame de sortie (F2) etant 
temporellement situ6e entre ladite premiere trame d'entree et la premiere trame (F2/3) issue d'une seconde 
image d'entree, une troisieme trame de sortie (F3) 61ant temporellement situ6e entre les deux trames d'entree 
(F2/3, F4) issues de ladite seconde image d'entrde, 

les coefficients d'interpolatton utilises par lesdits filtres temporels sont de 1/2 pour ladite seconde trame de 
sortie. 

Proc6d6 selon la revendication 7, caracterise en ce que 

les pixels de ladite troisi6me trame de sortie sont les pixels de la seconde image d'entrSe. 

Procdde selon I'une des revendications 1^8, caracterise en ce que 

lorsque le vecteur de mouvement associ6 k un pixel k interpoler est nul et que la confiance dans ce vecteur 
d^passe unseuildonn6, alors la valour du pixel k interpoler est la valeur finale obtenue par filtrage median entre 
premidrement les deux valeurs de pixels obtenues en retirant, respectivement ajoutant la confiance du vecteur 
de mouvement ramen6e au pixel divis^e par un facteur correctit (Scale) k la valeur du pixel de mSme position 
que le pixel k interpoler dans, selon le cas, la trame d'entree pr6c6dente ou la trame d'entrde suivante, et 
deuxidmement une valeur de repli qui r6sulfe d'un filtrage lineaire tempore! et horizontal sur les pixels des 
lignes des trames d'entree pr6c6dente et suivante de position identique a la ligne contenant le pixel h interpoler, 
un filtrage spatial vertical dtant effectu6 le cas 6ch6ant sur les lignes non d^finies des trames d'entr6e. 



31 



EP 0 781 041 A1 



10. Proc6d6 seton la revendication 9, caracteri 



so en CO que la valeur de repli est 6gale a; 



Fallback(x.y) = -jl(i 2 3 4 3 2 1) 



fP(x-3,y,0) 
P(x-2.y,0) 
P(x-1,y,0) 
m P(x,y,0) +(1-m) 
P(x+1,y.O) 
P<x+2.y,0) 
,P(x + 3,y,0)j 



P(x-3,y,I)^ 
P(x-2,y.I) 
P(x-1,y.i) 

P(x.y,l) 
P(x + 1,y.^) 
P(x + Zy,I) 
[P(x + 3.y,I)^ 



oil -0" designs la frame d'entr6e precedant la trame k interpoler et "1/2" la trame d'entr^e suiv«nt la 
11 . ProcedS selon I'une des revendicaiions 9 ou 1 0. caracterlse en ce que 

premierement par un filtrage lineaire vertical (F1) 

sur un (p'^rJ " «Pa'*o-tempcre. vesical sur deux pixels et compena. en mouvement 

tTilnTLTun 'pfJeMpT'^ """^ spa.lo-ten.pore, portant sur quatre pixels en croIx e, compens. en mou- 



12. Precede selon la revendication 11. caracterise 



en ce que ledit filtrage lineaire vertical (F1) est le suivanl: 



ou "0- represente la position lemporelle de la trame k interpoler 











1 




y+v 


'2 




A yj 




J 
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15. Procedd selon I'une dos revendications 11 6 14, caracterUe en ceque lorsque le vecteur de moLfvement associe 
a un pixel a interpoler est nul et que la conflance dans ce vecteur est sup6rieure ^ un seuil donn6, alors ledit pixel 
prend la valeur du pixel de m§me position dans la trame d'entrde suivante. 



x+ V 



y + v 
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FIG. 9 
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